Apprentissage par imitation dans un cadre batch , off - policy et sans modèle

Résumé : Ce papier traite le problème de l’apprentissage par imitation, c’est à dire la résolution du problème du contrôle optimal à partir de données tirées de démonstrations d’un expert. L’apprentissage par renforcement inverse (IRL) propose un cadre efficace pour résoudre ce problème. En se basant sur l’hypothèse que l’expert maximise une fonction de valeur, l’IRL essaie d’apprendre la récompense qui définit cette dernière à partir de trajectoires d’exemple. Beaucoup d’algorithmes d’IRL font l’hypothèse de l’existence d’unn approximateur linéaire pour la fonction de récompense et calculent l’attribut moyen (le cumul moyen pondéré des fonctions de base, relatives à la paramétrisation linéaire supposée de la récompense, évaluées en les états d’une trajectoire associée à une certaine politique) via une estimation de Monte-Carlo. Cela implique d’avoir accès à des trajectoires complètes de l’expert ainsi qu’à au moins un modèle génératif pour tester les politiques intermédiaires. Dans ce papier nous introduisons une méthode de différences temporelles, LSTD-μ, pour calculer cet attribut moyen. Cela permet d’étendre l’apprentissage par imitation aux cas batch et off-policy.